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Nutzer adaptive Dialogtmterstutzung fur Sprachdialogsysteme 

Die Erfindung betrifft ein Verfahren zur nutzeradaptiven Dia- 
logunterstutzung bei Sprachdialogsystemen nach dem Oberbeg- 
riff des Patentanspruchs 1. 

Zur Bedienung komplexer technischer Einrichtungen, insbeson- 
dere von Assistenzsystemen bei Kraf tf ahrzeugen, werden zuneh- 
mend Sprachdialogsysteme (Spracherkennungssysteme) einge- 
setzt, da hierbei angenommen wird, dass eine rein sprachliche 
Interaktion den Bediener der technischen Einrichtung weniger 
von seiner primaren Bedienungsauf gabe ablenkt, als dies eine 
haptisch-visuelle Bedienung bedingen wiirde. 

Bei Sprachdialogsystemen besteht jedoch generell das Problem, 
dass man mit dem System unterschiedlich erfahrene Nutzer 
sprachlich moglichst optimal bedienen muss; beispielsweise 
einen Anf anger, der mit dem System nicht vertraut ist, oder 
aber einen Experten, welcher das System in alien Einzelheiten 
und Finessen kennt und beherrscht . Entsprechend dieser unter- 
schiedlichen Vertrautheit mit dem System werden andere Anfor- 
derungen an die Bedienung des Sprachdialogsystems gestellt . 
Der Anfanger benotigt mehr Hilf estellung und Fuhrung durch 
das System, um dieses auf dem Wege des learning-by-doing ken- 
nen lernen zu konnen. Der Experte jedoch mochte eine mog- 
lichst schnelle und effektive Interaktion mit dem Sprachdia- 
logsystem. Dariiber hinaus werden moderne Sprachdialogsysteme 
immer komplexer, da die Vielfalt der zu bedienenden Funktio- 
nen steigt . Dies impliziert, dass es in Zukunft nicht mehr 
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den Experten oder den Anf anger geben wird. Es wird Benutzer 
geben, die einen Teil der angebotenen Funktionalitaten haufig 
bedient und die in diesem Teil Experte sind, und es wird Be- 
nutzer geben, die sich wiederum nur in einem anderen Teil des 
5 Systems auskennen. 

Es existieren Sprachdialogsysteme bei welchen es dem System- 
nutzer moglich ist anzugeben, wie gut er mit dem System be- 
reits vertraut ist. Dement sprechend interagiert das Dialog- 
system mit dem Systemnutzer uber kurzere oder langere System- 
10 auSerungen (Sprachauf f orderungen) . Die Einstellen in Bezug 

auf den Vertrautheitsgrad sind jedoch durch den Systemnutzer 
aktiv einzugeben und die jeweiligen Einstellungen beziehen 
sich sodann auf den gesamten Dialog. Dies deckt somit nicht 
diejenigen Falle ab, bei denen ein Systemnutzer sich bei- 
15 spielsweise an sich recht gut mit dem Sprachdialogsystem aus- 
kennt, aber bei einem Dialogschritt vergessen hat, welche Au- 
gerung auf eine Sprachauf forderung durch das System erwartet 
wird, urn im Dialog sinnvoll voranzuschreiten. Hier hilft es 
dem Systemnutzer nicht, dass er die Moglichkeit hat die Sys- 
20 . temeinstellung in Bezug auf seinen Vertrautheitsgrad zu an- 
dern und hierdurch mitzuteilen, dass er mehr Unterstutzung 
durch das Sprachdialogsystem benotigt, da in den nachfolgen- 
den Dialogschritt en diese Unterstutzung wiederum nicht mehr 
benotigt wird. Problematisch ist hierbei zudem, dass durch 
25 die erf orderliche Eingabe des Vertrautheitsgrades die System- 
funktionalitat stark von der Selbsteinschatzung des System- 
nut zer s abhangt . 

Es ist deshalb wunschenswert , dass das Sprachdialogsystem im 
Fall, dass der Systemnutzer Schwierigkeiten bei der Eingabe 
30 der notwendigen Sprachaufierungen hat, automatisch Unterstut- 
zung anbietet. Ein derartiges System wird in der Offenle- 
gungsschrift US 2 002/0147593 Al beschrieben. Hierbei ist das 
Sprachdialogsystem in der Lage zwei unterschiedlich detail - 
lierte Sprachauf forderung auszugeben, jeweils in Abhangigkeit 
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davon ob das System davon ausgeht ob es sich bei dem System- 
nutzer urn einen unterstutzungsbedurf tigen Anfanger oder urn 
einen versierten Experten handelt . Bei der Kommunikation mit 
einem Anfanger verwendet das Sprachdialogsystem Sprachauf f or- 
5 derungen (Prompt) in der fur solche Systeme ublichen Detail- 
lierungsgrad, gibt also ausreichend Hinweise auf die Art und 
Weise der im Rahmen des Dialoges sinnvoller Weise erwarteten 
NutzerauSerung. Handelt es sich bei dem Systemnutzer urn einen 
Experten, so wird nur eine verkurzte, optimierte Sprachauf - 
10 forderung („ tapered" Prompt) ausgegeben. In der Regel enthal- 
ten diese verkurzten Sprachauf forderungen keine oder nur sehr 
wendige erklarende oder unterstutzende Hinweise. Wahrend des 
Dialogverlauf es schatzt das Sprachdialogsystem kontinuierlich 
den Systemnutzer bezuglich seines Erf ahrungsgrades ein und 
15 gestaltet entsprechend seine Sprachauf forderungen. Da das 

System bei der Initiierung des Sprachdialoges nichts uber den 
Systemnutzer weis, werden zuerst Sprachauf forderungen mit dem 
ublichen Detaillierungsgrad. In denjenigen Fallen, in welchem 
im Laufe des Dialoges festgestellt wird, dass der Systemnut- 

2 0 zer uber eine gewisse Anzahl von aufeinander folgenden Dia- 
logschritten sinnvoll auf die Sprachf orderungen reagiert, 
wird davon ausgegangen, dass es sich hierbei urn einen -Exper- 
ten handelt, worauf die dieser Einschatzung nachf olgenden 
Sprachauf forderungen in Form eines Short-Prompts erfolgen. Da 

25 diese Einschatzung jedoch fehlerhaft sein kann, wird die Aus- 
gabe von Short-Prompts nur solange fortgesetzt, solange der 
Systemnutzer auch fehlerfrei und sinnvoll auf diese reagiert . 
Reagiert der Systemnutzer auf die Short -Prompts mit AuSerun- 
gen, welche das Sprachdialogsystem nicht sinnvoll weiter ver- 

3 0 arbeiten karm, geht dieses dazu uber bei der wiederholten An- 

frage und nachfolgend wieder Sprachauf forderungen mit dem ub- 
lichen Detaillierungsgrad zu generieren. Eine Ruckkehr zur 
Verwendung der Short-Prompts erfolgt erst wieder nachdem wie- 
derum bei einer gewissen Anzahl von aufeinander folgenden Di- 
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alogschritten sinnvoll auf die detaillierten Sprachauf forde- 
rungen reagiert wurde. Dieses zuruckschalten den fur den un- 
erfahrenen Systemnut zer gedachten detaillierten Sprachauf for- 
derungen ist notwendig, da das Sprachdialogsystem einzig auf 
5 Grund der Art und Weise der Aufierung auf die Sprachauf forde- 
rung auf den Erf ahrungsgrad des Systemnut zers schlieSen kann. 
Problematisch ist hierbei, dass in den Fallen, in welchen ein 
Experte beispielsweise auf Grund einer Ablenkung eine Fehl- 
eingabe vomimmt , dieser nachfolgend wiederholt und unnotig 
10 detaillierte Sprachauf forderungen erhalt, durch welche er 
sich gestort fiihlen konnte. 

Aufgabe der Erfindung ist es deshalb, eine nutzeradaptive Di- 
alogfuhrung fur Sprachdialogsysteme zu finden, welche uner- 
15 fahrene und erfahrene Systemnut zer unterscheidet , und daran 
angepasste Sprachauf forderungen so generiert, dass auch in 
denjenigen Fallen, in welchen ein erfahrender Nut zer inner- 
halb eines Dialogschrittes fehlerhaft reagiert hat, er in den 
nachf olgenden Schritten, ohne Nachteil fur unerfahrene Nut- 
20 zer, umgehend wieder wie ein erfahrener Nut zer behandelt 
wird. 

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des 
Patentanspruchs 1 gelost. Vorteilhafte Ausgestaltungen und 
Weiterbildungen der Erfindung sind durch die Unteranspruche 
25 beschrieben. 

Bei dem Verfahren fur eine nutzeradaptive Dialogf uhrung gibt 
ein Sprachdialogsystem eine Sprachauf for derung aus, wobei 
hierauf das Sprachdialogsystem auf eine AuSerung durch den 
30 Systemnutzer wartet . Hierbei wird, urn die Nutzeraufierung zu 
verstehen, ein Spracherkenner aktiviert wird. Das Sprachdia- 
logsystem ist in der Lage unerfahrene und erfahrene Nut zer zu 
unterscheiden, wobei es unerfahrenen Nutzern eine detaillier- 
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te Sprachauf f orderung ausgibt, wahrend bei erfahrenen Nutzern 
eine verkurzte Sprachauf f orderung verwendet . In erfinderi- 
scher Weise wird dabei von Seiten des Sprachdialogsystems ein 
Dialogschritt mit einer verkurzten Sprachauf f orderung (Ini- 
5 tierungssignal) initialisiert . Bei Ausbleiben einer AuSerung 
des Systemnutzer auf die verkurzte Sprachauf f orderung wird 
sodann nach einer bestimmten Zeit (Erkenner- Timeout ) eine de- 
taillierte Sprachauf f orderung ausgegeben. In vorteilhaf ter 
Weise werden dem Systemnutzer also bei jedem Dialogschritt 
10 beide Arten von Sprachauf forderungen, eine verkurzte als auch 
eine detaillierte, zur Verfugung gestellt. Dabei beginnt der 
Dialogschritt immer mit einer verkurzten Sprachauf f orderung, 
so dass es dem erfahrenen Systemnutzer (Experte) also immer 
moglich ist die Initiative zu ergreifen; das heiSt, dass es 
15 diesem immer moglich ist xiber die Art und Weise des Dialoges 
zu entscheiden. Dem erfahren Nutzer ist es somit immer Mog- 
lich in Bezug auf den Ablauf des Dialoges die Initiative zu 
ergreifen. Ist auch er sich an einem Punkt des Sprachdialoges 
unsicher, welche Art oder Weise der SprachauSerung das 
2 0 Sprachdialogsystem an dieser Stelle erwartet, kann er einfach 
den Zeitablauf des Erkenner-Timeouts abwarten und erhalt so- 
dann eine detaillierte Sprachauf f orderung. Bei den nachfol- 
genden Schritten kann sich der erfahrene Nutzer wieder gleich 
nach der verkurzten Sprachauf f orderung aufiern und den Dialog 
25 hierdurch beschleunigen. 

In Bezug auf die Gestaltung der verkurzten Sprachauf f orderung 
ist es beispielsweise denkbar, diese auf die notwendigste In- 
formation oder auf einzelne, die eigentliche Detailinf ormati- 
on besonders bezeichnende Stichworte zu beschranken. Ander- 
30 seits kann in besonderes vorteilhaf ter Weise eine Effizienz- 
steigerung in Bezug auf den Ablauf des Sprachdialoges ge- 
schaffen werden, wenn die verkurzte Sprachauf f orderung einzig 
durch eine neutrale, keine spezifische Information enthalten- 
des Audio-Signal erfolgt; beispielsweise vergleichbar mit der 
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Sprachauf f orderung bei einem Telef onanruf beantworter , bei 
welchem der Anrufer aufgefordert wird nach dem Signalton oder 
dem Piepston (,BeepM zu sprechen. 

Die Effizienz des Verfahrens lasst sich weiter, insbesondere 
5 in Bezug auf unerfahrene Systetnnutzer, dadurch steigern, dass 
in einer Speichereinheit protokolliert wird, wie haufig ein 
Systemnutzer sich erst auf die Ausgabe der detaillierten 
Sprachauf f orderung hin auSert. AuSert sich ein Nutzer wieder- 
holt erst dann, das heiSt reagiert er nie oder selten bereits 
0 auf die verkurzte Sprachauf f orderung, so ist dies ein Hinweis 
darauf , dass es sich bei diesem um einen unerfahrenen System 
nutzer handeln konnte. In diesem Falle karm in gewinnbringen- 
der Weise die Zeitspanne fur den Erkenner-Timeout , welcher 
den Zeitraum zwischen verkurzter und detaillierter Sprachauf - 
15 f orderung definiert, verkurzt werden. Eine sinnvolle Anzahl 

von fur eine Verkurzung des Erkenner- Timeouts notwendigen Wi- 
derholungen konnte auf die Anzahl 3 voreingestellt werden ; 
d.h. AuSert sich der Systemnutzer dreimal hintereinander erst 
auf die detaillierte Sprachauf f orderung so wird der Erkenner- 
20 Timeout verkurzt, beispielsweise halbiert. Hierdurch ware es 
auch einem unerfahrenen Systemnutzer moglich den Sprachdialog 
schneller zu Ziel zu fuhren. Es ist hierbei denkbar den Er- 
kenner-Timeout dann wieder auf die ursprungliche Zeitspanne 
zu setzen, wenn der Systemnutzer in einem der Dialogschritte 
25 bereits auf die verkurzte Sprachauf f orderung hin reagiert; 
selbs tver standi ich ist es auch hier moglich diese Falle zu 
protokollieren und den Erkenner-Timeout erst nach mehreren 
sukzessiven AuSerungen auf eine verkurzte Sprachauf f orderung 
wieder auf den ursprunglichen Wert hin zuruckzusetzen. 

30 In besonderer Weise konnte die Anderung des Erkenner -Timeouts 
(Verkurzung oder Verlangerung) auch derart gestaltet werden, 
dass diese sukzessive in mehreren Schritten erf olgt « So konn- 
te die Verkurzung oder nachtragliche Verlangerung des Erken- 
ner-Timeouts weniger abrupt erfolgen. Betragt die Anderung 
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fur jedes weitere Mai bei dem gleich wie das vorangegangene 
Mai reagiert wurde beispielsweise 10% der vorherigen Zeitdau- 
er der Er kenner - T imeout s , so wurde sich das System annahernd 
unmerklich an den Systemnutzer anpassen. Das bedeutet, dass 
5 fur jedes weitere Mai in dem der Systemnutzer sinnvoll erst 
auf die detail lierte Sprachauf f orderung reagiert e der Erken- 
ner-Timeout verkurzt wurde, und dass er fur jedes weitere Mai 
in welchem er in Folge bereits sinnvoll auf die verkurzte 
Sprachauf f orderung hin antwortete der Erkenner- Timeout in 
10 Schritten wieder bis zum ursprunglichen Wert hin erhoht wur- 
de. Es ware hierbei moglich mit der Modifikation des Erken- 
ner-Timeouts bereits nach der ersten Aufierung des Systemnut- 
zers zu beginnen, was die Effizienz des Systems weiter stei- 
gern wurde . 

15 Eine weitere Ef f izienzsteigerung des Sprachdialogsystems 

lasst sich dadurch erzielen # dass dieses Barge-In fahig ges- 
taltet wird. Barge -In erlaubt es dem Systemnutzer, die 
Sprachauf forderungen eines Sprachdialogsystems durch eine ei- 
gene sprachliche Eingabe abzubrechen. Bei einer solchen 
20 sprachlichen Eingabe kann es sich zum einen um die vorzeitige 
Eingabe der vom System erwarteten AuSerung handeln, oder aber 
um andere den Sprachdialog beeinf lussende Angaben. Durch die- 
se sprachliche Eingabe wird die weitere Ausgabe der Sprach- 
aufforderung unterbrochen. Dies bietet den Vorteil einer ef- 
25 fizienteren Interaktion mit dem System, indem der Sprachdia- 
log dadurch beschleunigt wird, dass der Systemnutzer Sprach- 
auf forderungen unterbrechen und stoppen kann. Hierdurch wird 
die Moglichkeit geschaffen, dass insbesondere ein erfahrener 
Systemnutzer, welcher bei einem Dialogschritt Hilf estellung 
30 benotigt, die detaillierte Sprachausgabe bereits zu dem Zeit- 
punkt abbrechen kann, zu welchem er die fur die nachfolgende 
SprachauSerung notwendigen Hinweise erhalten hat. 

In besonders vorteilhaf ter Weise wird durch die Erf indung ein 
Sprachdialogsystem geschaffen, welches dynamisch und schnell 
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auf das aktuelle Bedienverhalten eines Systemnutzers reagie- 
ren kann. 1st Systemnutzer mit dem Dialogsystem vertraut, so 
erlaubt das Verfahren eine effiziente Interaktion, da sofort 
nach der verkurzten Sprachauf f orderung (Initiierungssignal) 
5 eine SprachauSerung getatigt werden kann. Tret en dagegen 

Schwierigkeiten in Bezug auf die zu tatigende SprachauSerung 
auf, so reagiert das Sprachdialogsystem entsprechend, indem 
es eine unterstutzende Sprachauf f orderung ausgibt . Dabei ist 
durch der Sprachdialog durch das erf inderische Verfahren 
10 gleichzeitig so flexibel ausgelegt, dass falls es zu Schwie- 
rigkeiten bei einem der Dialogschritte kommt, dies keine Aus- 
wirkungen auf die Reaktionsf ahigkeit bei den nachf olgenden 
Schritten hat. Hat ein Systemnutzer beispielsweise nur des- 
halb Schwierigkeiten mit der abzugebenden SprachauSerung, da 
15 er gerade abgelenkt war, so wird ihm eine unterstutzende 

Sprachauf f orderung prasentiert, auf die er antworten kann. 
Bei dem nachsten Dialogschritt hat er jedoch wieder die Mog- 
lichkeit, sich sofort nach der verkurzten Sprachauf f orderung 
(Initiierungssignal) zu aufiern und somit den kurzeren und ef- 
20 fizienteren Weg durch den Sprachdialog zu wahlen. 
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Daimler Chrysler AG Finkele 

14.10.2003 



Patentanspruche 



Verfahren fur eine nutzeradaptive Dialogf uhrung fur ein 
Sprachdialogsystem, 

bei welchem durch das Sprachdialogsystem eine Sprachauf - 
forderung ausgegeben wird, 

wobei hierauf das Sprachdialogsystem auf eine AuSerung 
durch den Systemnutzer wartet, wobei hierzu, urn die Nut- 
zerauSerung zu verstehen, ein Spracherkenner aktiviert 
wird, 

wobei das System unerfahrene und erfahrene Nutzer unter- 
scheidet und es unerfahrenen Nutzern eine detail lierte 
Sprachauf forderung ausgibt, wahrend bei erfahrenen Nut- 
zern eine verkurzte Sprachauf forderung verwendet, 

dadurch gekennzeichnet, 

dass von Seiten des Sprachdialogsystems ein Dialogschritt 

mit einer verkiirzten Sprachauf forderung initialisiert 

wird, 

worauf bei Ausbleiben einer AuSerung des Systemnutzer auf 
die verkurzte Sprachauf forderung nach einer bestimmten 
Zeit (Erkenner-Timeout) eine detaillierte Sprachauf forde- 
rung ausgegeben wird. 
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2 . Ver f ahren nach Anspruch 1 , 

dadurch gekennzeichnet, 

dass die verkurzte Sprachauf f orderung in Form eines kur- 

zen akustischen Signals (Piepston) erf olgt . 

3. Verf ahren nach einem der Anspruche 1 oder 2, 
dadurch gekennzeichnet, 
dass dann, wenn sich der Systemnutzer wiederholt nicht 
auf die verkiirzte Sprachauf f orderung aufiert, die Zeit- 
spanne fur den Erkenner - Timeout , nach welchem eine de- 
tail lierte Sprachausgabe erf olgt, verkurzt wird. 

4 . Verf ahren nach Anspruch 3 , 

dadurch gekennzeichnet, 
dass die Verkurzung der Zeitspanne fur den Erkenner - 
Timeout mit zunehmender Anzahl von nicht erfolgten Aufie- 
rungen auf die verkurzte Sprachauf f orderung in mehreren 
Stufen erf olgt. 

5 . Verf ahren nach Anspruch 3 oder 4 , 
dadurch gekennzeichnet, 

dass dann, wenn sich der Systemnutzer bereits auf die 
verkurzte Sprachauf f orderung hin meldet, die Zeitspanne 
fur den Erkenner- Timeout , verlangert wird. 

6. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Sprachdialogsystem so ausgestaltet wird, dass es 
dem Systemnutzer moglich ist durch vorzeitige Eingabe von 
SprachauSerung (Barge-In) die Ausgabe der Sprachauf f orde- 
rung zu unterbrechen. 
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Zusatnmenf as sung - 
Nutzeradaptive Dialogunterstiatzung f<ir Sprachdialogsysteme 



Bei Sprachdialogsystemen besteht jedoch generell das Problem, 
dass man mit dem System unterschiedlich erfahrene Nutzer 
sprachlich moglichst optimal bedienen muss. Es wird ein 
Sprachdialogsystem vorgeschlagen, welches unerfahrene und er- 
fahrene Systemnutzer unterscheidet , und daran angepasste 
Sprachaufforderungen so generiert . Hierbei ist das System in 
der Lage unerfahrene und erfahrene Nutzer zu unterscheiden, 
wobei es unerfahrenen Nutzern eine detaillierte Sprachauf f or- 
derung ausgibt, wahrend es bei erfahrenen Nutzern eine ver- 
kurzte Sprachauf f or derung verwendet. In erf inderischer Weise 
wird dabei von Seiten des Sprachdialogsystems ein Dialog - 
schritt mit einer verkurzten Sprachauf forderung initiali- 
siert. Bei Ausbleiben einer AuSerung des Systemnutzer auf die 
verkurzte Sprachauf forderung wird sodannnach einer bestimm- 
ten Zeit (Erkenner- Timeout) eine detaillierte Sprachauf forde- 
rung ausgegeben. So werden also bei jedem Dialogschritt beide 
Arten von Sprachaufforderungen ausgegeben und dem Systemnut- 
zer zur Auswahl gestellt. Es ist diesem also immer moglich 
uber die Art und Weise des Dialoges zu entscheiden. Dem er- 
fahren Nutzer ist es somit immer Moglich in Bezug auf den Ab- 
lauf des Dialoges die Initiative zu ergreifen. Ist auch er 
sich an einem Punkt des Sprachdialoges unsicher, welche Art 
oder Weise der SprachauSerung das Sprachdialogsystem an die- 
ser Stelle erwartet, kann er einfach den Zeitablauf des Er- 
kenner -Timeouts abwarten und erhalt sodann eine detaillierte 
Sprachauf forderung . 



